【iOSDC Japan 2023 レポート】「macOSで自分のカメラを作ってみよう – Core Media IO Extension」を聞いてきた。

はじめに

年に一度のiOSエンジニアの為のお祭り iOSDC Japan 2023に参加しています。

せっかくなので、参加したセッションのレポートを書きたいと思います。

macOSで自分のカメラを作ってみよう - Core Media IO Extension

登壇者

• shmdevelopさん

概要

ITエンジニアならば仮想カメラを自作したいですよね？

2022年に、旧来のDAL(Device Abstraction Layer)プラグインに代わるものとしてCore Media IO Extensionを使った実装方法が用意されました。

旧方式はセキュリティ上の懸念から非推奨になっています。

このセッションではシンプルな実装から始まり、コントロールアプリと連動させる方法、カメラ映像を使う方法、それにオーバーレイ画像を合成する方法まで解説します。

機能拡張として音声認識入力機能も追加してみます。

このセッションを通してmacOSの仮想カメラの概要と実装について一通り理解できるようになります。

Zoomや各種アプリで自作仮想カメラを使ってみませんか！

引用: fortee

資料

• デモアプリコード

感想

ライブコーディングを交えた仮想カメラ機能を実装するドキドキのセッションでした。

masOSでSystem ExtensionとCamera Extensionを追加するだけで、ファイルが追加されデフォルトで仮想カメラと機能するのを見て、試してみたい！と感じましたが、簡単そうに見えていくつか罠があったので解決法を共有していただきました。

• 生成される.appファイルをアプリケーションフォルダーに貼り付けないと使えるようにならない
• アプリを更新した際にアプリケーションフォルダーにある.appファイルは一度削除しなければならない

もし自分が同じ現象にハマった場合はかなりドツボにハマりそうだなんと感じて、この解決方法を事前に知れてありがたがったです。

これまでmacOS用のアプリを作ったことないので初めてのmacOSとしてチャレンジして見るのは良さそうですね。

最後には、自作カメラのデモを実施していただき、カメラ上に音声認識をした言葉を文字列として表示がされ、会場に歓声が沸きました。

セッションの見せ方も、時々で歓声が沸いたり、笑いが起こったり、技術的な学びも勿論ありましたが、エンターテイメントとしても楽しませていただきました。

また、服部さんはvisionOS関連で今一番GitHub上でスターがついているリポジトリのオーナーでもあり、このリポジトリも引き続き追っていきたいです。

visionOS_30Days

おわりに

セッションを盛り上げる技術をつけたい。

iOSDC 2023 レポート関連

Day 0

• 「タクシーアプリの多言語対応・ローカライズにおける課題と解決策」を聞いてきた。
• 「Appleにおけるプライバシーの全容を把握する」を聞いてきた。
• 「SwiftUIの進化についていくためにやったこと」を聞いてきた。
• 「SharePlayの歴史と進化 - そしてvisionOSへ」を聞いてきた。
• 「UIKit ベースの Custom UIContentConfiguration API を用いた複雑なカスタムセルの作り方」を聞いてきた。

Day1

• 「TextKit 2 時代の iOS のキーボードとテキスト入力と表示のすべて」を聞いてきた。
• 「PushToTalkで作るトランシーバー」を聞いてきた。
• 「6年間運用したiOSアプリのリアーキテクトについて具体的に解説」を聞いてきた。
• 「Mastering SwiftSyntax」を聞いてきた。
• 「配信アプリのためのリアルタイムプッシュ通知ぼかしの夢 〜低負荷で高速なプライバシー保護を目指して」を聞いてきた。